Ông sinh ra vào ngày 29 tháng 9 năm 1841, tại Weißenfels (Sachsen), trong một gia đình có lẽ là có nguồn gốc từ Gosel tại vùng Egerland (Tiệp Khắc) và định cư sang Gürth (ngày nay ở Bad Brambach) trước năm 1630. Ông là con trai của Karl Gustav von Goßler (1810 – 1885), quan Chánh án (Kanzler) tỉnh Đông Phổ, cố vấn lập pháp của triều đình đồng thời là Chủ tịch Tòa án tối cao (Oberlandesgericht) Königsberg, và Sophie von Mühler (1816 – 1877), con gái của Bộ trưởng Bộ Tư pháp Heinrich Gottlob von Mühler (1780 – 1857). Cuộc hôn nhân này đã sản sinh ra bốn người con:

• Gustav (1838 – 1902), Bộ trưởng Quốc gia Phổ và Chủ tịch Tòa án tối cao tỉnh Tây Phổ
• Heinrich (1841 – 1927), Bộ trưởng Chiến tranh và Thượng tướng Bộ binh Phổ
• Konrad (1848 – 1933), Thượng tướng Bộ binh Phổ
• Wilhelm (1850 – 1928), Trung tướng Phổ